In the presence of noisy labels, designing robust loss functions is critical for securing the generalization performance of deep neural networks. Cross Entropy (CE) loss has been shown to be not robust to noisy labels due to its unboundedness. To alleviate this issue, existing works typically design specialized robust losses with the symmetric condition, which usually lead to the underfitting issue. In this paper, our key idea is to induce a loss bound at the logit level, thus universally enhancing the noise robustness of existing losses. Specifically, we propose logit clipping (LogitClip), which clamps the norm of the logit vector to ensure that it is upper bounded by a constant. In this manner, CE loss equipped with our LogitClip method is effectively bounded, mitigating the overfitting to examples with noisy labels. Moreover, we present theoretical analyses to certify the noise-tolerant ability of LogitClip. Extensive experiments show that LogitClip not only significantly improves the noise robustness of CE loss, but also broadly enhances the generalization performance of popular robust losses.

当有大量的计算资源可用时，AutoAttack（AA）是评估对抗性鲁棒性的最可靠方法。但是，高计算成本（例如，比项目梯度下降攻击的100倍）使AA对于具有有限计算资源的从业者来说是不可行的，并且也阻碍了AA在对抗培训中的应用（AT）。在本文中，我们提出了一种新颖的方法，即最小利润率（MM）攻击，以快速可靠地评估对抗性鲁棒性。与AA相比，我们的方法可实现可比的性能，但在广泛的实验中仅占计算时间的3％。我们方法的可靠性在于，我们使用两个目标之间的边缘来评估对抗性示例的质量，这些目标可以精确地识别最对抗性的示例。我们方法的计算效率在于有效的顺序目标排名选择（星形）方法，以确保MM攻击的成本与类数无关。 MM攻击开辟了一种评估对抗性鲁棒性的新方法，并提供了一种可行且可靠的方式来生成高质量的对抗示例。

已知深层神经网络（DNN）容易受到后门攻击和对抗攻击的影响。在文献中，这两种攻击通常被视为明显的问题并分别解决，因为它们分别属于训练时间和推理时间攻击。但是，在本文中，我们发现它们之间有一个有趣的联系：对于具有后门种植的模型，我们观察到其对抗性示例具有与触发样品相似的行为，即都激活了同一DNN神经元的子集。这表明将后门种植到模型中会严重影响模型的对抗性例子。基于这一观察结果，我们设计了一种新的对抗性微调（AFT）算法，以防止后门攻击。我们从经验上表明，在5次最先进的后门攻击中，我们的船尾可以有效地擦除后门触发器，而无需在干净的样品上明显的性能降解，并显着优于现有的防御方法。

Partial label learning (PLL) is an important problem that allows each training example to be labeled with a coarse candidate set, which well suits many real-world data annotation scenarios with label ambiguity. Despite the promise, the performance of PLL often lags behind the supervised counterpart. In this work, we bridge the gap by addressing two key research challenges in PLL -- representation learning and label disambiguation -- in one coherent framework. Specifically, our proposed framework PiCO consists of a contrastive learning module along with a novel class prototype-based label disambiguation algorithm. PiCO produces closely aligned representations for examples from the same classes and facilitates label disambiguation. Theoretically, we show that these two components are mutually beneficial, and can be rigorously justified from an expectation-maximization (EM) algorithm perspective. Moreover, we study a challenging yet practical noisy partial label learning setup, where the ground-truth may not be included in the candidate set. To remedy this problem, we present an extension PiCO+ that performs distance-based clean sample selection and learns robust classifiers by a semi-supervised contrastive learning algorithm. Extensive experiments demonstrate that our proposed methods significantly outperform the current state-of-the-art approaches in standard and noisy PLL tasks and even achieve comparable results to fully supervised learning.

了解代理之间的复杂社交互动是轨迹预测的关键挑战。大多数现有方法考虑成对交通代理或在局域之间的相互作用，而相互作用的性质是无限的，涉及同时不确定的代理和非局部区域。此外，它们对不同类别的代理商来说，它们同样对待异质的交通代理，同时忽视人们在IFFerent类别的交通代理中的多种反应模式。为了解决这些问题，我们提出了一个简单但有效的无限邻域交互网络（UNIN），其预测多个类别中异构代理的轨迹。具体地，所提出的无限邻域交互模块同时产生相互作用涉及的所有代理的融合特征，其适用于任何数量的代理和任何范围的交互区域。同时，提出了一个分层图注意模块，以获取类别到类别的交互和代理到代理交互。最后，估计高斯混合模型的参数用于产生未来轨迹。基准数据集的广泛实验结果表明，通过最先进的方法对我们的方法进行了显着改进。

深神经网络（DNN）的记忆效果在许多最先进的标签噪声学习方法中起着枢轴作用。为了利用这一财产，通常采用早期停止训练早期优化的伎俩。目前的方法通常通过考虑整个DNN来决定早期停止点。然而，DNN可以被认为是一系列层的组成，并且发现DNN中的后一个层对标签噪声更敏感，而其前同行是非常稳健的。因此，选择整个网络的停止点可以使不同的DNN层对抗彼此影响，从而降低最终性能。在本文中，我们建议将DNN分离为不同的部位，逐步培训它们以解决这个问题。而不是早期停止，它一次列举一个整体DNN，我们最初通过用相对大量的时期优化DNN来训练前DNN层。在培训期间，我们通过使用较少数量的时期使用较少的地层来逐步培训后者DNN层，以抵消嘈杂标签的影响。我们将所提出的方法术语作为渐进式早期停止（PES）。尽管其简单性，与早期停止相比，PES可以帮助获得更有前景和稳定的结果。此外，通过将PE与现有的嘈杂标签培训相结合，我们在图像分类基准上实现了最先进的性能。

标签平滑（LS）是一种出现的学习范式，它使用硬训练标签和均匀分布的软标签的正加权平均值。结果表明，LS是带有硬标签的训练数据的常规器，因此改善了模型的概括。后来，据报道，LS甚至有助于用嘈杂的标签学习时改善鲁棒性。但是，我们观察到，当我们以高标签噪声状态运行时，LS的优势就会消失。从直觉上讲，这是由于$ \ mathbb {p}的熵增加（\ text {noisy label} | x）$当噪声速率很高时，在这种情况下，进一步应用LS会倾向于“超平滑”估计后部。我们开始发现，文献中的几种学习与噪声标签的解决方案相反，与负面/不标签平滑（NLS）更紧密地关联，它们与LS相反，并将其定义为使用负重量来结合硬和软标签呢我们在使用嘈杂标签学习时对LS和NLS的性质提供理解。在其他已建立的属性中，我们从理论上表明，当标签噪声速率高时，NLS被认为更有益。我们在多个基准测试中提供了广泛的实验结果，以支持我们的发现。代码可在https://github.com/ucsc-real/negative-label-smooth上公开获取。

对敌对训练（AT）作为最小值优化问题，可以有效地增强模型对对抗攻击的鲁棒性。现有的AT方法主要集中于操纵内部最大化，以生成质量对抗性变体或操纵外部最小化以设计有效的学习目标。然而，始终表现出与准确性和跨界混合物问题存在的鲁棒性的经验结果，这激发了我们研究某些标签随机性以使AT受益。首先，我们分别对AT的内部最大化和外部最小化进行彻底研究嘈杂的标签（NLS）注射，并获得有关NL注射益处AT何时的观察结果。其次，根据观察结果，我们提出了一种简单但有效的方法 - Noilin将NLS随机注入每个训练时期的训练数据，并在发生强大的过度拟合后动态提高NL注入率。从经验上讲，Noilin可以显着减轻AT的不良过度拟合的不良问题，甚至进一步改善了最新方法的概括。从哲学上讲，Noilin阐明了与NLS学习的新观点：NLS不应总是被视为有害的，即使在培训集中没有NLS的情况下，我们也可以考虑故意注射它们。代码可在https://github.com/zjfheart/noilin中找到。

在标签 - 噪声学习中，估计过渡矩阵是一个热门话题，因为矩阵在构建统计上一致的分类器中起着重要作用。传统上，从干净的标签到嘈杂的标签（即，清洁标签过渡矩阵（CLTM））已被广泛利用，以通过使用嘈杂的数据来学习干净的标签分类器。该分类器的动机主要是输出贝叶斯的最佳预测标签，在本文中，我们研究以直接建模从贝叶斯最佳标签过渡到嘈杂标签（即贝叶斯标签，贝叶斯标签，是BLTM）），并学习分类器以预测贝叶斯最佳的分类器标签。请注意，只有嘈杂的数据，它不足以估计CLTM或BLTM。但是，贝叶斯最佳标签与干净标签相比，贝叶斯最佳标签的不确定性较小，即，贝叶斯最佳标签的类后代是一热矢量，而干净标签的载体则不是。这使两个优点能够估算BLTM，即（a）一组具有理论上保证的贝叶斯最佳标签的示例可以从嘈杂的数据中收集； （b）可行的解决方案空间要小得多。通过利用优势，我们通过采用深层神经网络来估计BLTM参数，从而更好地概括和出色的分类性能。

我们从频道明智激活的角度调查CNN的对抗性鲁棒性。通过比较\ Textit {非鲁棒}（通常训练）和\ exingit {REXITIT {REARUSTIFIED}（普及培训的）模型，我们观察到对抗性培训（AT）通过将频道明智的数据与自然的渠道和自然的对抗激活对齐来强调CNN同行。然而，在处理逆势数据时仍仍会过度激活以\ texit {excy-computive}（nr）的频道仍会过度激活。此外，我们还观察到，在所有课程上不会导致类似的稳健性。对于强大的类，具有较大激活大小的频道通常是更长的\ extedit {正相关}（pr）到预测，但这种对齐不适用于非鲁棒类。鉴于这些观察结果，我们假设抑制NR通道并对齐PR与其相关性进一步增强了在其下的CNN的鲁棒性。为了检查这个假设，我们介绍了一种新的机制，即\下划线{C} Hannel-Wise \ Underline {i} Mportance的\下划线{F} eature \ Underline {s}选举（CIFS）。 CIFS通过基于与预测的相关性产生非负乘法器来操纵某些层的激活。在包括CIFAR10和SVHN的基准数据集上的广泛实验明确验证了强制性CNN的假设和CIFS的有效性。 \ url {https://github.com/hanshuyan/cifs}